Veblen sinh tại Decorah, Iowa. Ông học trung tiểu học ở thành phố Iowa, sau đó vào học ở đại học Iowa và đậu bằng cử nhân năm 1898. Tiếp theo, ông lại vào học ở Đại học Harvard và đậu bằng cử nhân thứ hai năm 1900. Ông học tiếp toán học ở Đại học Chicago và đậu bằng tiến sĩ năm 1903 với luận án mang tên 'A System of Axioms for Geometry', được viết dưới sự giám sát của E. H. Moore.

Veblen dạy toán học ở Đại học Princeton từ năm 1905 tới 1932. Năm 1926, ông được bổ nhiệm làm giáo sư toán học. Năm 1932, ông đã giúp việc thành lập Institute for Advanced Study tại Princeton, từ chức giáo sư ở Đại học Princeton và trở thành giáo sư đầu tiên ở Viện này trong cùng năm. Ông giữ chức giáo sư ở Viện này cho tới khi nghỉ hưu làm giáo sư danh dự năm 1950.

Veblen qua đời ở Brooklin, Maine năm 1960 thọ 80 tuổi. Sau khi ông qua đời, Hội Toán học Hoa Kỳ đã lập ra một giải thưởng mang tên ông là Giải Hình học Oswald Veblen. Giải này được trao mỗi 3 năm, và là giải có uy tín nhất nhìn nhận các nghiên cứu xuất sắc trong Hình học.